ข้อมูลเกี่ยวกับช่วงปฐมวัยของไซโตมีอยู่น้อยมาก เขาเกิดที่นครเอะโดะ แคว้นมุซะชิ (ปัจจุบันคือกรุงโตเกียว)[1] เมื่อแรกเกิดนั้นเขามีชื่อว่า "ยะมะงุจิ ฮะจิเมะ" (ญี่ปุ่น: 山口 一) โดยเป็นบุตรชายของยะมะงุจิ ยูสุเกะ (ญี่ปุ่น: 山口 祐助) อะชิงะรุสังกัดแคว้นอะกะชิ ผู้มียศเป็น "โกะเคะนิง" (ยศระดับล่างของผู้สวามิภักดิ์ที่ขึ้นตรงต่อรัฐบาลโชกุนโทะกุงะวะ)[1] ไซโตมีพี่ชายชื่อฮิโระอะกิ และพี่สาวชื่อคะสึ ตามบันทึกของครอบครัวไซโตที่ได้รับการตีพิมพ์แล้วกล่าวว่า เขาได้หนีไปจากเมืองเอะโดะในปี ค.ศ. 1862 หลังจากพลั้งมือสังหารซามูไรระดับฮะตะโมะโตะผู้หนึ่ง[2] โดยหนีไปอยู่ที่นครเกียวโตและสอนวิชาดาบอยู่ในโดโจ (โรงฝึก) ของชายคนหนึ่งชื่อโยะชิดะ ซึ่งเคารพนับถือของพ่อไซโตมาตั้งแต่อดีต[2] วิชาดาบของเขานั้นปรากฏชัดเจนว่าเป็นแนวทางของสำนักอิตโตรีวและสำนักมุไกรีว